#total_chat_jsonl_path="/home/work_nfs15/asr_data/data/chat_data/web_text_2019_text/train_20W_3.jsonl"
total_chat_jsonl_path="/home/work_nfs15/asr_data/data/chat_data/CDial-GPT/**.jsonl"
#output_wav_dir_path="/home/work_nfs15/asr_data/data/chat_data/web_text_2019_text/train_20W_3_wav"
output_wav_dir_path="/home/work_nfs15/asr_data/data/chat_data/CDial-GPT/**"
# 1000W -> 100个子文件，split_1--》** 。遍历0到100 . 2天-》20W条。


num_thread=8
device_num=8
python do_split_jsonl.py \
  --input_jsonl_path=$total_chat_jsonl_path \
  --output_dir_path=$output_wav_dir_path \
  --num_thread=$num_thread

for ((i = 0; i < num_thread; i++)); do
    if [ $i -eq 0 ]; then
        # shellcheck disable=SC2034
        vision="true"
    else
        # shellcheck disable=SC2034
        vision="false"
    fi
    gpu_id=$((i % device_num))
    export CUDA_VISIBLE_DEVICES="$gpu_id"
    python do_generate_on_one_gpu.py \
      --chat_jsonl_path=$output_wav_dir_path"/tmp_"$i".jsonl" \
      --output_wav_dir_path=$output_wav_dir_path \
      --gen_Q=true \
      --vision=$vision \
      --batch_size=1 &
done

wait